L'elaborazione ha subito un cambiamento fondamentale da ottimizzato per la latenza progettazione CPU a orientato alla throughput architetture GPU. Mentre una CPU è come una moto rapida per la consegna (veloce per un solo pacco), una GPU è una nave mercantile gigantesca: si muove più lentamente per singolo elemento ma trasporta 50.000 container contemporaneamente.

1. Latenza vs. Throughput

Le CPU sono progettate per minimizzare il "tempo di completamento" per una singola sequenza di istruzioni utilizzando una previsione di ramificazione sofisticata. Al contrario, Unità di Elaborazione Grafica (GPU) sono progettate per massimizzare il "lavoro al secondo" eseguendo migliaia di thread in parallelo, sacrificando la velocità del singolo thread per una throughpu massiva complessiva.

2. Assegnazione dei Transistor

Una GPU offre una throughpu di istruzioni e una larghezza di banda della memoria molto superiori rispetto a una CPU all'interno di un simile contesto di prezzo e potenza. Le GPU sono specializzate in calcoli altamente paralleli e dedicano più transistor alle unità di elaborazione dati (ALU), mentre le CPU dedicano più transistor alla memorizzazione temporanea dei dati e al controllo del flusso.

3. L'Evoluzione di CUDA

Architettura Unificata per l'Elaborazione (CUDA) è stata introdotta da NVIDIA nel 2006. È una piattaforma e un modello di programmazione parallela che consente aumenti significativi delle prestazioni sfruttando il potere della GPU indipendentemente dalle API grafiche.